Das Foto soll den verbrannten Leichnam eines Babys zeigen. Gepostet hatte es am 13. Oktober unter anderem der offizielle Account des Staates Israel auf X, ehemals Twitter. Das darauf abgebildete Kind soll bei dem grausamen Angriff der Hamas auf die israelische Zivilbevölkerung knapp eine Woche zuvor ums Leben gekommen sein.
Innerhalb weniger Stunden stand auf X der Vorwurf im Raum, das Bild sei mit Hilfe sogenannter Künstlicher Intelligenz generiert worden. Eine Detektor-Software hatte das Foto als Fälschung gekennzeichnet. Der Vorwurf nährte den Verdacht, die israelische Regierung verbreite gezielt Falschinformationen.
Zwei Ebenen der Desinformation
Was ist real, was ist fake? Diese Frage stellt sich in Zeiten, in denen KI-generierte Inhalte allerorten auftauchen, immer häufiger. Und immer seltener lässt sie sich klar beantworten.
Selbst Detektoren, die mit gewaltigen Mengen von KI-generierten Bildern trainiert werden, finden darauf oftmals keine eindeutige Antwort oder ihre Ergebnisse widersprechen einander. Im Fall des obigen Bildes hat sich der eingesetzte Detektor AI or Not offenbar „geirrt“, wie Hany Farid gegenüber dem US-Magazin 404 Media sagte. Farid ist Experte für digitale Bildmanipulation an der Universität Kalifornien in Berkely, und kommt nach eingehender Prüfung zu dem Schluss, dass das Bild von Menschen erstellt wurde. Die widersprüchliche Kennzeichnung durch verschiedene KI-Detektoren bezeichnet er als „zweite Ebene der Desinformation“. Das bedeutet: Nicht ein Inhalt selbst ist Desinformation, sondern seine Einstufung als Fälschung.
Die erste Ebene der Desinformation veranschaulicht exemplarisch ein anderes Foto, das im Mai dieses Jahres für Aufregung sorgte. Es zeigt angeblich eine Explosion nahe des US-amerikanischen Verteidigungsministeriums. Die KI-Fälschung wurde zwar rasch als solche identifiziert, sorgte damals aber dennoch für einen kurzzeitigen Kurseinbruch an den Börsen.
Solche Fake-Bilder bereiten Politiker:innen, Journalist:innen und Forschenden gleichermaßen Kopfzerbrechen. Denn sie können nicht nur kriegerische Auseinandersetzungen verschärfen oder Wahlen beeinflussen. Sondern sie gefährden, weil sie unser Verständnis davon unterhöhlen, was wahr ist, auch den demokratischen Diskurs.
Ein Symbol für Transparenz
Die Konzerne, die den KI-Geist aus der Flasche ließen, suchen derzeit händeringend nach Lösungen, wie sich von Menschen erstellte Inhalte besser von solchen unterscheiden lassen, die maschinell generiert sind. Die Unternehmen wollen so den potentiellen Schaden verringern, den ihre Produkte anrichten können, und eine strengere Regulierung durch die Politik vermeiden.
Der jüngste Vorschlag dazu stammt von Adobe. In der vergangenen Woche stellte das Unternehmen eine neue Technologie namens Content Credentials vor. Sie soll es ermöglichen, dass sich Nutzer:innen die Metadaten von Bildern direkt anzeigen lassen können. Dazu wird der „Content Credentials pin“ auf Bilder platziert, ein tröpfchenförmiges Symbol mit den Buchstaben CR in seiner Mitte.
Berühren Nutzer:innen das „Icon of Transparency „mit dem Mauszeiger oder ihrem Finger, werden ihnen Informationen über die Urheberschaft angezeigt oder Angaben dazu, mit welchem KI-Generator das Bild erstellt wurde. Das Icon ähnelt damit eher Nährwertangaben auf Lebensmitteln als einem Wasserzeichen, schreibt Adobe in einem Blogbeitrag.
Das Content Credential entstand in Zusammenarbeit mit anderen Unternehmen in der Coalition for Content Provenance and Authenticity (C2PA). Der Gruppe gehören neben Adobe auch Microsoft, Nikon, Leica und der französische Werbedienstleister Publicis Groupe an. Sie wollen das Symbol fortan ebenfalls in ihren Produkten verwenden.
Freiwillige Selbstverpflichtung der Konzerne
Das Content Credential geht auch auf ein Versprechen der Techkonzerne zurück. Im September dieses Jahres sagten unter anderem Adobe, IBM und Nvidia US-Präsident Joe Biden zu, KI-generierte Inhalte mit Wasserzeichen kenntlich zu machen. Amazon, Google, Meta, Microsoft und OpenAI hatten dem Weißen Haus bereits einige Wochen zuvor im Rahmen einer freiwilligen Selbstverpflichtung eine ähnliche Zusage gegeben.
Microsoft und OpenAI hatten bereits vor Adobes jüngster Ankündigung damit begonnen, sichtbare Wasserzeichen – sogenannte „manifeste Signaturen“ – in den Ecken der Bilder zu platzieren, die ihre KI-Systeme generieren. OpenAI hatte mit seinem Textgenerator ChatGPT und dem Bildgenerator Dall-E maßgeblich den KI-Hype ausgelöst.
Andere Konzerne wie Alphabets Tochterfirma Deepmind nutzen hingegen Wasserzeichen, die für das menschliche Auge unsichtbar sind. Derzeit testet Deepmind ein eigenes System namens SynthID, das Bilder entsprechend kennzeichnet, die der hauseigene Bildgenerator Imagen erstellt.
Im Englischen werden diese Markierungen als „low perturbation watermarks“ bezeichnet – zu Deutsch: Wasserzeichen mit geringem Störfaktor. Sie seien auch dann noch nachweisbar, wenn Bilder manipuliert oder in anderen Formaten gespeichert werden, so Deepmind.
Das Ziel sei es, ein System zu schaffen, bei dem die meisten KI-Bilder durch eingebettete Wasserzeichen leicht identifiziert werden können, sagte Pushmeet Kohli, Vizepräsident für Forschung bei Google Deepmind, gegenüber der Washington Post. SynthID befinde sich derzeit in der Testphase und funktioniere noch nicht fehlerfrei. „Die Frage lautet: Haben wir überhaupt die Technologie, um das Ziel zu erreichen?“, so Kohli.
KI mit KI bekämpfen
Ebendiese Frage stellt sich auch der Informatiker Martin Steinebach. Er leitet die Abteilung Media Security und IT Forensics am Fraunhofer-Institut für Sichere Informationstechnologie. „Digitale Wasserzeichen gibt es seit vielen Jahren und nun erfahren sie so etwas wie eine Renaissance“, sagt Steinebach auf Anfrage von netzpolitik.org.
Allerdings stelle es eine große technische Hürde dar, dass Wasserzeichen erhalten bleiben, wenn Bilder skaliert oder komprimiert werden. Gerade bei der Verkleinerung würden Bilder und damit auch Wasserzeichen an Qualität einbüßen. „Darüber hinaus werden die Werkzeuge immer mächtiger, mit denen sich sichtbare Wasserzeichen aus Bildern entfernen lassen“, so Steinebach. Viele dieser Tools sind im Internet nur einen Mausklick entfernt.
Zwei aktuelle Studien bestätigen Steinebachs Sorge. Die erste stammt von Soheil Feizi und weiteren Autor:innen. Feizi ist Professor für Informatik an der Universität Maryland. Die Forschenden zeigen auf, wie vergleichsweise leicht sich Wasserzeichen aus KI-generierten Bildern „auswaschen“ lassen. Genauso einfach sei es, Wasserzeichen in menschlich generierte Bilder einzufügen und sie somit als vermeintliche Fake-Inhalte zu kennzeichnen. Die Studie kommt zu dem Schluss, „dass die Entwicklung eines robusten Wasserzeichens eine anspruchsvolle, wenn auch nicht unmögliche Aufgabe ist“.
Die zweite Studie von Forschenden der Universitäten Kalifornien, Santa Barbara und Carnegie Mellon, Pennsylvania ist noch pessimistischer. Sie schätzt alle derzeit genutzten unsichtbaren Wasserzeichen als unsicher ein. Verantwortlich dafür sei ausgerechnet KI. Es sei geradezu ironisch, so die Forschenden, dass „die jüngsten Fortschritte bei generativen Modellen, die den dringenden Bedarf an unsichtbaren Wasserzeichen verursacht haben, auch die Entfernung von Wasserzeichen erleichtern“.
Für Martin Steinebach ist das kein Grund, die Flinte ins Korn zu werfen: „Watermarking ist nicht gleich wirkungslos, nur weil es eine Gegenstrategie gibt“, sagt er. Auch die Digitale Rechteverwaltung (DRM) bei digitalen Medien sei oftmals leicht zu knacken. Dennoch böte DRM weiterhin Schutz „vor missbräuchlichen Kopien“ etwa bei E-Books oder Computerspielen.
Wir brauchen mehr als technische Lösungen
Der Kryptograf David Niehues von der Universität Wuppertal ist überzeugt, dass wir mehr als technische Lösungen benötigen. „Zunächst müssen wir lernen, damit umzugehen, dass uns Bilder vorliegen, die zwar echt aussehen, die aber falsch sind“, sagt Niehues gegenüber netzpolitik.org.
„Darüber hinaus brauchen wir gesellschaftliche Lösungen“, sagt der Informatiker. Da wir uns nach wie vor in einer Welt mit Gatekeepern bewegen, könnten etwa Redaktionen von Qualitätsmedien die erforderlichen Verifikationen vornehmen. „Dafür aber braucht es Vertrauen in deren Fachkenntnis, Arbeitsweise und Unabhängigkeit. Besteht dieses Vertrauen, dann könnten sie uns dabei helfen, die Spreu vom Weizen zu trennen“, so der Informatiker.
Dass wir als Gesellschaft dazulernen müssen, glaubt auch Jutta Jahnel. Sie ist wissenschaftliche Mitarbeiterin der Forschungsgruppe „Digitale Technologien und gesellschaftlicher Wandel“ am Karlsruher Institut für Technologie. „Wir müssen die Dinge vorsichtiger wahrnehmen“, sagt sie, „dazu bedarf es einer neuen grundsätzlichen Skepsis und Kritikfähigkeit.“
Vor allem aber begrüßt es Jahnel, dass die Europäische Union derzeit die KI-Verordnung verhandelt. „Rechtlich passiert bisher noch zu viel im Rahmen von Selbstverpflichtungen“, sagt Jahnel. Das EU-Gesetz soll Künstliche Intelligenz europaweit regulieren und befindet sich aktuell im Trilog. Dort ringen Kommission, Rat und Parlament unter anderem um die Frage, wie strikt die Vorschriften für sogenannte „general purpose AI“ ausfallen sollten, also KI-Systeme, die sich aufgrund ihrer Fähigkeit sehr vielseitig einsetzen, aber auch missbrauchen lassen.
Mit modernen KI-Systemen lassen sich auch fotorealistisch aussehende Bilder generieren. Daher sollte das Risiko, das von dieser Technologie ausgeht, nicht unterschätzt werden, sagt Jahnel. „Denn wenn wir nicht mehr genau sagen können, was wahr ist und was nicht, schafft das eine babylonische Verwirrung. Und dies wirkt sich wiederum negativ auf den gesellschaftlichen Diskurs und die Demokratie aus.“ In der biblischen Erzählung vom Turmbau zu Babel verwirrt Gott die Sprache der Menschen, sodass sie sich nicht mehr verständigen können. Wie berechtigt die Sorge vor einer Verwirrung durch generative KI ist, hat sich in der vergangenen Woche einmal mehr deutlich gezeigt.
Diese Diskusion ist lächerlich. Fakt ist, daß wir heute keinen Bildern und keinen texten mehr als originär vertrauen können. Da hilft auch keine technische Lösung, da sie selbst manipuliert werden kann. Schade, denn der Bildjournalismus wird daran zugrunde gehen. Was sich fälschen läßt, wird gefälscht werden.
das Thema Urheberrecht nimmt unter diesem Gesichtspunkt auch nochmal erheblichen Schaden – denn was nicht von Mensch gemacht ist ist auch nicht geschützt! (und alles andere wäre sowieso absoluter Wahnsinn)
Das Problem ist so alt wie das Medium, ein ganz kleines bisschen Kenntnis der Geschichte wäre dem Weltverständnis wirklich sehr zuträglich.
Geben Sie sich nicht auf, bilden Sie sich!
Nicht sichtbare Wasserzeichen erleichtern Forensik. Was Menschen brauchen, ist eine sichtbare Signatur im Bild, die unschwer erkennen lässt, ob es sich um ein KI-Bild handelt.
Da Menschen zum Betrügen neigen, braucht es ein spezielles Bild-Format, dass außer Skalierung keine nachträgliche Bildbearbeitung zulässt. Gesetzgeber können regulieren, dass KI-Bilder nur so bereitgestellt werden.
Warum?
Wo ist der Unterschied zwischen einem manuell erstellen und einem „KI“ erstellten Bild? Wo verläuft überhaupt die Grenze, beim ganz normalen Einsatz von Werkzeugen zur Bildbearbeitung und Bilderstellung?
Das ist schlicht nichts neues. Es ist jetzt nur so breit verfügbar, dass man die bequeme Ignoranz nicht mehr aufrecht erhalten kann.
Und natürlich wird sich jemand mit Täuschungsabsicht ohnehin nicht an Regeln halten.
> Und natürlich wird sich jemand mit Täuschungsabsicht ohnehin nicht an Regeln halten.
Wenn per Gesetz vorgeschrieben wird, dass KI-generierte Bilder als solche per Augenschein zu erkennen sind, und zudem unveränderbar (nicht nachträglich bearbeitbar), dann wäre das Problem mit Signifikanz gelöst. Der Rest ist dann Sache der Justiz.
Gesetz besiegt Physik?
Wohl kaum…
> Gesetz besiegt Physik?
Ein Kategorien-Fehler. Gesetz reguliert die Anwendung von Physik.
Nee, nee, die versuchen schon die Physik zu schlagen, das passiert immer öfter. Das soll sich so hinwachsen, dass die magische Rechtsglocke weiter läuten kann. Dass das manchmal in der Anwendung so hingekommen ist, könnte die Anwendung reinen Zufalls bedeuten.
Man kann nicht auf einfache Weise und allgemein „KI-Bilder“ regulieren. Kommerzielle Player ja, aber nur bis zur nächsten Landesgrenze (bzw. Regional +-). Leute werden nicht mitspielen, Manipulation ist international im „Vergleich“ gesetzt, und andere einfachere Leute werden einfach Bilder verändern, so dass nichts mehr erkennbar ist. Und so Gott will, und das ganze wegen der schwierigen Unterscheidbarkeit zu passieren habe, so denke selbst: Vervollständigen und schwierig unterscheidbares produzieren… „wer“ könnte sowas nur tun?
Wenn man nicht mal mehr ein Rechenzentrum braucht, sondern „ordentliche Hardware“ für das Training reicht, sind wir bei „Malulatur hoch 12“.
Folgen? Wie wäre es mit einem weiteren dystopischen Modul?
„Das Problem“ wird aufgrund von Skalierung, und z.T. noch zu liefernder, z.T. bereits vorhandener Qualität, zu einer Menge an Problemen, mit einer Größenordnung oben drauf, also eigentlich eine neue Klasse von Problemen.
Man erhält da verschiedene Fragestellungen zu Authentizität und Herkunft, sowie bzgl. der Möglichkeiten, überhaupt noch etwas abseits von „safe spaces“, wie (halb) geschlossenen Räumen vergleichbar Patreon o.ä. zu machen.
Denn was kommt ist doch klar:
– Faksimiles jeglicher Sorte.
– Foto oder Fabrikation?
– Künstler bzw. Inhalteersteller verhindern, z.B. durch Erstellen ähnlichen Inhalts.
– Ausnutzen jeglicher Schwachstellen (des Marktes und der Gesetzgebung, sowie der Plattformen), um anderes zu verhindern oder kaputtzumachen. Hier auch an Inhaltsfilterung, automatische Lizensierung, allgemein Copyrightfilter denken (vgl. Content-ID).
Es kommt schon noch eine Größenordnung an Problem dazu, womit es auch wieder mehr Sorten von Problemen gibt, weil einfach mehr geht, und mehr skaliert. Es ist also nicht wie bisher.
Die ganzen dystopischen Registraturlösungen halte ich auch für Quatsch. Ich habe noch keinen einzigen vernünftigen Vorschlag diesbezüglich gehört, schon gar nicht von kommerziellen Playern (einige schweigen schon, was vielleicht vernünftig ist). Die andere Richtung kann dann die de facto Auslöschung des Copyrights in dem Gebiet bedeuten, weil keiner mehr hinterherkommt. Konsequenzen sind so schon vermindertes Einkommen, weniger Leute die von sowas leben können usw. usf. Am extremen Ende hätten wir nur noch KI, aber keinen mehr, der sie füttert – Nachhaltigkeit in a Nutshell.
Bequeme Ignoranz würde ich also eher denjenigen vorwerfen, die den Unterschied in der Größenordnung vom Tisch wischen.
In dem kommentierten Kommentar ging es explizit um einfach sichtbare Identifikation, anscheinend im Kontext „Glaubwuerdigkeit“.
Das jetzt auch Tante Erna trivial ein grossbannertaugliches Bild vom Nichtraucher Onkel Toni mit Kippe im Mund erzeugen kann, hat halt wenig allgemeine Relevanz. Und die meisten relevanten Bilder sind eher nicht perfekte Aufnahmen mit bester Ausleuchtung, super Linsen und riesiger Aufloesung. Wer ein bisschen mit OSINT zu tun hat, kennt das Problem der Verifikation seit langem.
Ja, „generative AI“ (auch das ist letztlich eine Werbeaussage, das ist weder „AI“ noch generieren die etwas genuin) stellt die Gesellschaft vor Probleme, und eine einigermassen tauglich Loesung ist keine technische Loesung. Das ist aber natuerlich unbequem, da muss man denken und tun, vielleicht sogar konsequent, das mag der Buerger nicht, und der deutsche Buerger ganz besonders.
Naja…
Prompt: Erna….. + mit perfekter Ausleuchtung ;)
Signifikant werden auch Memes und „Lieblingsfiguren“. In der großen Menge vielleicht Mainstream-Film-Comic-Game. Aber auch modifizierte Werke, also sehr nah an der Perfektion des Originals. Solche werden eher einfach zuzuordnen sein, aber da sind wir bald schon in der Filterhölle. Das wird auch umgekehrt wieder gegen Künstler eingesetzt werden. Also „Ähnliches für die Zukunft“ und du kannst [im Moment, mit automatischen Lizenzzahlungen, x, y, z, …] nicht mehr veröffentlichen. Hinzu „Bugs“ im Sinne von Überidentifikation, weil viele generierte Bilder ähnliche Eigenschaften haben, dann allgemeines Overblocking für jegliche Werke (niemand baut einen Filter „für Kinder“ ohne Alterskontrolle).
Das ganze kollabiert sehr schnell. Macht man nichts, auch, aber anders. Richtige echte Künstler machen irgendwas, wovon man im Zweifel nicht leben kann, im Zweifel dann eben anders. Aber Kunsthandwerk und Verfügbarkeit von Fähigkeiten könnten schon auch unter die Walze kommen, wenn wir nicht bzw. falsch aufpassen.
Bei den Enderzeugnissen ansetzen ist wirklich schwierig. Datenbanken? Registriert von Adobes Gnaden? Vergessen nach Gusto, impersonifiziert bzw. bestohlen by design, usw. usf.
Technisch im Bild… kann wahrscheinlich verändert werden, aber schlimmer noch: Warum sol ich mit einem selbst trainierten Netzwerk ein Wasserzeichen hinzuztun?
Lösung: keine offenen Datensets zulassen nur kommerzielle Dienste zulassen, alles andere rasieren.
Andere Lösung? Vielleicht KI-Generierung nur nicht-kommerziell zulassen, und zu wissenschaftlichen Zwecken. NGO-only o.ä. Won’t happen, wegen Hollywood einerseits, Voraussetzung der Voraussicht bei politischen Entscheidungen andererseits, usw.
Es wird wohl Scheiße werden…
Die Content Credentials, die auf der schon länger existierenden Content Authenticity Initiative aufbauen, gehen glaube ich in eine andere Richtung als Wasserzeichen, die Manipulationen überleben sollen: Die Idee ist, dass z.B. auch eine Kamera und Bildbearbeitungssoftware diese Informationen korrekt (fort-)schreibt.
Es geht also darum, z.B. ein echtes Bild, das aus einer Kamera kam und mit Photoshop lediglich aufgehellt wurde, zuverlässig als echt zu erkennen, weil die eingebetten Credentials alle Schritte dokumentieren. Damit ehrliche Akteure die Echtheit ihrer Bilder belegen können.
Unehrliche Akteure können natürlich manipulieren sowie Wasserzeichen und auch die Credentials entfernen – aber dann eben auch nicht belegen, dass ihr Bild aus einer Kamera kam und nicht manipuliert wurde.
Bedeutet das nicht eigentlich, dass JEMAND, z.B. Adobe, nachvollziehen kann, wie wer Bilder bearbeitet? Damit wird dann eine KI gefüttert, die entsprechend in Konkurrenz zu den Authoren gilt.
Hinzu kommt, dass das natürlich ein weiteres Lock-In für den Kameramarkt bedeutet, also weitere Hürden für alle Teilnehmer dort. Sonst kann jeder sich was basteln.
Allerdings kann auch jeder ein Foto von einem von KI generierten Bild aufnehmen, es entsprechend aufhübschen usw. usf.
Irgendwer wird das hacken und einen Webdienst anbieten. Lösungen gibt es nicht, höchstens werden alle Bilder von Kamera X vor Firmware Y als ungültig gestempelet, Danke!
Das sind alles kreuzweise Dystopien, was die kommerziellen Player so anzubieten haben (von Fair Use für alles bis „wir schmeißen den Markt“).
Wobei das vielleicht schon so geht. Man sollte nicht unterschätzen, was man im Falle von Fotobearbeitung (vermutlich) so herausfinden kann.
Wie oft, ist aber der unterschied, dass eine vom Künstler unterschriebene Ichhabegemachtliste (vgl. Niederlande in den 40ern) tatsächlich ein viel einfacheres Training von KI mit vielen Daten ermöglicht, da man nicht erst eine Erkennung laufen lassen muss, bzw. eine billigere nehmen kann. Der Kostenfaktor also, und aus „Sicherheitsgründen“ dann auch gerne frei Haus.
Ich arbeite als Grafik Designer seit über 20 Jahren mit Photoshop. Ich bearbeite retuschiere und erweitere Bilder, kombiniere Inhalte. Verändere die Bild-Aussage. So wie ich machen das alle meiner Kollegen seit Jahrzehnten . Ja, in letzter Zeit arbeite ich auch mit künstlicher Intelligenz, und die neue Photoshop Version bietet wirklich mächtige Möglichkeiten der Bildbearbeitung. Dinge, die ich früher in 3-4 Stunden gemacht habe, kann ich jetzt in 2-3 Minuten erledigen. Dass ausgerechnet Adobe jetzt ein digitales Siegel anbietet, scheint mir in diesem Zusammenhang eine Erweiterung des Produktportfolios von Adobe in erster Linie zu sein. Wenn sie es schaffen dieses Siegel weltweit durchzusetzen, wäre das ein ähnlicher Coup wie das PDF Format. Ich glaube nicht, dass so etwas kommt. Es würde bedeuten, dass jedes Bild das bearbeitet wird als bearbeitet gekennzeichnet werden muss. Egal von wem und nach meiner Einschätzung gibt es im digitalen Raum kaum Bilder, die nicht bearbeitet werden. Sowas machen eher Fotografenpuristen mit Analog Kameras. KI Bearbeitung ist ein Tool wie viele und die Übergänge sind fließend. Das ist schlicht nicht zu trennen von herkömmlicher Retusche. Die einzig sinnvolle Antwort ist nicht eine Produkt Ampel (zB FSK Verantwortungsvolle Bildherstellung😂) sondern das die Menschheit endlich erwachsen wird.